Năm 1926 Phùng mất quyền kiểm soát Bắc kinh và triệt thoái về Trương gia khẩu. Vào tháng 8 ông đến Liên Xô, sau khi quay về Trung Quốc vào tháng 9, ông gia nhập Quốc dân đảng, đổi tên Quốc dân quân thành Quân đội Nhân dân. Lúc này Quốc dân đảng do Tưởng Giới Thạch nắm quyền kiểm soát.

Tháng 10 năm 1928 Phùng Ngọc Tường được bổ nhiệm làm Phó chủ tịch Viện Hành pháp và Bộ trưởng Quốc phòng, trong khi đó lực lượng của Diêm Tích Sơn vừa chiếm được Bắc kinh và Diêm được chính quyền Tưởng bổ nhiệm Bộ trưởng Nội vụ, Phó Tổng tư lệnh quân đội quốc dân. Đầu năm 1929 Phùng bất đồng với Tưởng Giới Thạch, hợp sức với lực lượng của Diêm Tích Sơn và Lý Tông Nhân thuộc tỉnh Quảng Tây thách thức quyền lực của Tưởng Giới Thạch.